Khi Grohl còn nhỏ, gia đình anh đã chuyển từ Warren, Ohio tới Springfield, Virginia, ngoại ô Washington D.C. Ba năm sau, khi Grohl lên sáu, cha mẹ anh ly dị và Grohl sống với mẹ.

Từ năm 12 tuổi, Grohl bắt đầu học chơi guitar. Anh nhanh chóng chán ngấy với những giáo trình và quyết định tự mày mò, và cũng bắt đầu lập chơi trong ban nhạc cùng mấy người bạn. Một năm sau đó, Grohl và chị gái đi nghỉ hè tại nhà người họ hàng Tracy, tại Evanston, Illinois. Tracy đã đưa họ tới thế giới punk rock bằng những ban nhạc punk thời đó. Lần đầu anh tới hòa nhạc vào năm 1982 là xem Naked Raygun ở The Cubber Bear, Chicago. Khi đó anh mới 13 tuổi. "Từ đó trở đi chúng tôi là tín đồ punk," Grohl kể lại. "Chúng tôi trở về nhà và mua Maximumrockroll, nghiền ngẫm và vỡ từng nốt nhạc."

Tại Virginia, Grohl học tại trường trung học Thomas Jefferson. Anh được bầu làm phó chủ tịch trong lớp mới và chơi một vài bài của những nhóm như Circle Jerks và Bad Brains trên đài phát thanh trường trước khi phát biểu trên loa. Sau năm học đầu tiên tại trường, Grohl và mẹ quyết định chuyển anh tới trường trung học Bishop Ireton ở Alexandria bởi ở trường cũ, anh bị cuốn vào nghiện ngập và điều này ảnh hưởng tới kết quả học tập.

Khi học ở trung học, Grohl đã chơi cho vài ban nhạc địa phương. Trong đó có một khoảng thời gian chơi guitar cho ban nhạc Freak Baby. Khi chơi cho Freak Baby, anh nói mình muốn chơi trống. Khi Freak Baby sa thải tay chơi bass của họ, Grohl quyết định chuyển sang chơi trống và tạo ra một ban nhạc mới tự gọi là Mission Impossible. Trong những năm thành công rực rỡ trong vai trò một tay trống, Grohl đã noi gương John Bonham, người có ảnh hưởng lớn nhất tới anh. Thậm chí anh còn xăm hình ba vòng tròn đan nhau, vốn là biểu tượng của Bonham trong Led Zeppelin. Sau đó Mission Impossible lại đổi thành Fast và rồi tan rã khi Grohl gia nhập nhóm post-funk Dain Bramage.

Hầu như những ảnh hưởng tới với Grohl từ câu lạc bộ 9:30, nơi diễn ra những chương trình nhạc sống ở Washington D.C. "Tôi tới câu lạc bộ 9:30 hàng trăm lần. Tôi luôn cảm thấy kích động mỗi khi tới đây. Và luôn thấy bấn loạn khi nó đóng cửa. Tôi đã trải qua tuổi thanh niên ở đây và đã xem những chương trình làm thay đổi cuộc đời tôi."